선형 생성

선형 생성 모델에서 확률적 생성은 데이터 생성 과정이 확률 분포를 따르는 것을 핵심으로 한다. 이 접근법은 관찰된 데이터가 어떤 잠재 변수나 노이즈의 선형 결합을 통해 생성된다고 가정한다. 예를 들어, 확률적 주성분 분석(PPCA)은 고차원 데이터가 저차원의 잠재 변수를 선형 변환하고 가우시안 노이즈를 더해 생성된다고 모델링한다. 마찬가지로, 선형 판별 분석(LDA)은 클래스 조건부 분포가 정규분포를 따르며, 이는 평균 벡터의 선형 함수로 표현될 수 있다고 가정한다.

이러한 모델의 생성 과정은 일반적으로 두 단계로 이루어진다. 첫째, 잠재 변수나 클래스 레이블과 같은 숨겨진 요인을 확률 분포로부터 샘플링한다. 둘째, 이 샘플된 값을 미리 정의된 선형 변환(예: 행렬 곱셈)을 통해 관찰 공간으로 매핑하고, 독립적인 노이즈를 추가하여 최종 데이터 포인트를 만든다. 이 노이즈는 관측 오차나 모델이 설명하지 못하는 변동성을 나타낸다.

확률적 생성 모델의 주요 장점은 명시적인 확률 모델을 제공한다는 점이다. 이를 통해 새로운 데이터를 생성하는 샘플링뿐만 아니라, 관찰된 데이터에 대한 가능도를 계산하거나 베이즈 추론을 수행하는 것도 가능해진다. 또한, 생성 과정에 대한 통계적 해석이 가능하며, 차원 축소나 결측값 대체와 같은 작업에 유용하게 적용될 수 있다.

그러나 이러한 선형 가정은 한계를 가진다. 현실 세계의 많은 데이터, 예를 들어 이미지나 자연어와 같은 복잡한 데이터는 선형 관계만으로는 충분히 표현하기 어려운 비선형 패턴을 보인다. 이로 인해 선형 생성 모델의 표현력은 상대적으로 제한적이며, 더 복잡한 비선형 관계를 모델링하기 위해서는 심층 생성 모델과 같은 고급 기계 학습 기법이 필요하다.

조건부 생성은 특정 조건이나 맥락이 주어졌을 때, 그 조건에 맞는 데이터를 생성하는 선형 생성 모델의 접근법이다. 이는 무조건적인 생성보다 더 실용적이며 통제된 생성을 가능하게 한다. 예를 들어, 특정 주제에 대한 텍스트를 생성하거나, 주어진 스케치를 바탕으로 이미지를 완성하는 작업이 여기에 해당한다.

조건부 생성 모델은 일반적으로 입력 조건을 나타내는 벡터를 모델의 입력에 함께 제공하여 구현된다. 선형 생성 모델의 맥락에서, 이는 생성 과정의 선형 변환 단계에 조건 정보를 통합하는 것을 의미할 수 있다. 조건 정보는 잠재 공간의 분포를 조정하거나, 생성된 데이터의 특정 속성을 명시적으로 제어하는 데 사용된다.

이 방식은 기계 번역, 이미지 캡셔닝, 음성 합성 등 다양한 인공지능 응용 분야에서 널리 사용된다. 모델이 조건 정보를 효과적으로 학습하고 활용할수록, 사용자의 의도에 더 부합하는 높은 품질의 결과물을 생성할 수 있게 된다.

자동회귀 모델은 선형 생성 모델의 한 가지 접근 방식으로, 시퀀스 데이터를 생성할 때 이전 단계의 출력을 다음 단계의 입력으로 사용하는 순차적 생성 방식을 취한다. 이 모델은 주로 자연어 처리나 시계열 예측과 같은 순차 데이터를 다루는 분야에서 널리 활용된다. 기본적으로, 모델은 현재 시점의 데이터 포인트를 이전 시점의 데이터 포인트들에 대한 조건부 확률 분포로 모델링하며, 이는 마르코프 가정을 기반으로 한 단순화된 형태로 표현되기도 한다.

자동회귀 모델의 대표적인 예로는 순환 신경망과 변환기의 디코더 부분이 있다. 특히 GPT와 같은 대규모 언어 모델은 변환기의 디코더 구조를 활용한 자동회귀 방식을 통해 텍스트를 한 단어씩 생성한다. 이 방식은 생성 과정이 결정적이지 않고 확률적이며, 모델이 각 생성 단계에서 다음에 올 가능성이 있는 토큰의 확률 분포를 출력한다는 점에서 선형 생성의 확률적 특성을 잘 보여준다.

이 모델의 학습은 일반적으로 최대 우도 추정 원리를 바탕으로 한다. 즉, 주어진 훈련 데이터 시퀀스의 실제 다음 토큰이 모델이 예측한 조건부 확률 분포에서 높은 확률을 갖도록 목적 함수를 설정하고, 이를 최대화하는 방향으로 모델의 매개변수를 조정한다. 이러한 학습 방식을 통해 모델은 데이터에 내재된 통계적 규칙성을 포착하게 된다.

자동회귀 모델의 주요 장점은 개념적 명확성과 구현의 용이성에 있다. 그러나 생성이 순차적으로 이루어져야 하므로 긴 시퀀스를 생성할 때 계산 효율성이 떨어질 수 있으며, 이전 단계에서의 오류가 이후 생성 과정에 누적되는 문제가 발생할 수 있다는 한계도 존재한다.

변환기 기반 모델은 어텐션 메커니즘을 핵심으로 하는 신경망 아키텍처로, 자연어 처리를 비롯한 다양한 생성 모델 분야에서 혁신적인 성능을 보여주었다. 기존의 순환 신경망이나 합성곱 신경망이 데이터를 순차적 또는 지역적으로 처리하는 데 비해, 변환기는 입력 시퀀스의 모든 요소 간의 관계를 병렬적으로 계산하는 자기 어텐션을 통해 장기 의존성 문제를 효과적으로 해결한다. 이 구조는 특히 텍스트 생성, 기계 번역, 요약 작업에서 뛰어난 성과를 거두었다.

변환기 모델의 핵심 구성 요소는 인코더와 디코더 블록으로, 각 블록은 다중 헤드 어텐션과 피드포워드 신경망으로 이루어져 있다. 인코더는 입력 데이터의 표현을 학습하고, 디코더는 이 표현을 바탕으로 새로운 시퀀스를 생성한다. 이러한 아키텍처는 GPT와 BERT 같은 대규모 사전 학습 모델의 기반이 되었으며, 생성형 인공지능의 발전을 주도하는 역할을 했다. 변환기는 텍스트뿐만 아니라 이미지 생성 모델인 DALL-E나 음성 합성 모델에서도 그 변형이 적용되고 있다.

변환기 기반 생성 모델의 주요 장점은 병렬 처리 가능성과 강력한 문맥 이해 능력이다. 그러나 입력 시퀀스 길이에 따라 계산 복잡도가 제곱으로 증가하는 문제와 방대한 양의 학습 데이터를 필요로 한다는 한계도 존재한다. 이러한 한계를 극복하기 위해 효율적인 어텐션 메커니즘에 대한 연구가 지속되고 있으며, 양자화나 프루닝 같은 모델 경량화 기술과 결합되어 더욱 실용적인 응용이 가능해지고 있다.

확산 모델은 선형 생성 모델의 한 종류로, 데이터 생성 과정을 순차적인 노이즈 제거로 모델링하는 접근법이다. 이 모델은 확률적 생성 모델의 프레임워크 내에서, 복잡한 실제 데이터 분포를 간단한 가우시안 분포와 같은 잠재 변수 분포로부터 점진적으로 변환하여 생성하는 것을 목표로 한다. 기본 아이디어는 데이터에 점진적으로 노이즈를 추가하는 순방향 확산 과정과, 이 노이즈를 다시 제거하는 역방향 생성 과정으로 구성된다.

이 모델의 핵심은 역방향 과정을 학습하는 데 있다. 모델은 순방향 과정에서 만들어진 노이즈가 첨가된 데이터를 입력받아, 각 단계에서 제거해야 할 노이즈를 예측하도록 학습된다. 이 학습은 주로 최대 우도 추정의 변형이나 변분 추론을 통해 이루어진다. 학습이 완료되면, 모델은 순수한 가우시안 노이즈로부터 시작하여 학습된 역방향 과정을 따라 반복적으로 노이즈를 제거함으로써 새로운 데이터 샘플을 생성할 수 있다.

확산 모델은 특히 이미지 생성, 음성 합성, 음악 생성 분야에서 뛰어난 성능을 보여주며 주목받고 있다. 변환기 기반 모델이나 생성적 적대 신경망(GAN)과 같은 다른 생성 모델 아키텍처와 비교할 때, 학습의 안정성과 생성 샘플의 다양성 측면에서 장점을 가진다. 그러나 다단계의 샘플링 과정을 필요로 하기 때문에, 최종 이미지나 오디오를 생성하는 데 상대적으로 많은 계산 비용이 요구된다는 한계도 존재한다.

최대 우도 추정은 선형 생성 모델을 학습시키는 가장 기본적인 방법이다. 이 방법의 목표는 관찰된 훈련 데이터를 가장 잘 설명하는 모델의 매개변수를 찾는 것이다. 구체적으로, 주어진 데이터가 모델로부터 생성될 확률, 즉 우도를 최대화하는 매개변수 값을 계산한다. 선형 생성 모델에서는 주로 가우시안 분포와 같은 확률 분포를 가정하고, 이에 대한 우도 함수를 정의하여 최적화 문제를 푼다.

선형 생성 모델에서 최대 우도 추정은 일반적으로 폐쇄형 해를 갖는 경우가 많아 계산이 비교적 효율적이다. 예를 들어, 선형 판별 분석이나 확률적 주성분 분석과 같은 모델들은 데이터의 평균과 공분산 행렬과 같은 통계량을 통해 매개변수를 직접 추정할 수 있다. 이는 기대값 최대화 알고리즘과 같은 반복적 최적화 방법보다 빠른 수렴을 보장한다.

그러나 최대 우도 추정은 모델이 데이터의 실제 분포를 완벽히 표현할 수 있을 때 가장 효과적이다. 모델의 가정이 지나치게 단순하거나, 훈련 데이터의 양이 부족할 경우, 추정된 매개변수는 과적합되거나 편향될 수 있다. 또한, 이상치에 민감하게 반응할 수 있는 한계도 존재한다. 이러한 문제를 완화하기 위해 정규화 기법이나 베이즈 추정 방법이 함께 사용되기도 한다.

선형 생성 모델의 학습 과정에서 최대 우도 추정은 기본적인 방법이지만, 모델의 성능을 더욱 향상시키거나 특정 특성을 제어하기 위해 보조 목적 함수가 함께 사용된다. 이러한 보조 목적 함수는 주 목적 함수에 추가되어 모델이 단순히 데이터의 분포를 모사하는 것을 넘어, 생성 품질의 안정성이나 생성 결과의 다양성과 같은 추가적인 목표를 달성하도록 유도한다.

주로 사용되는 보조 목적 함수로는 생성적 적대 신경망의 판별자 손실 함수, 변분 오토인코더에서의 KL 발산 항, 그리고 최근 중요성이 부각되고 있는 대조 학습 손실 함수 등이 있다. 예를 들어, 확산 모델에서는 생성 과정의 역방향 잡음 제거 단계를 더욱 정교하게 학습시키기 위해 간단한 가중 제곱 평균 제곱근 오차 외에 다양한 가중치 전략이나 가이던스 기법이 보조적으로 적용된다. 이러한 기법들은 모델이 데이터의 핵심적인 의미를 보존하면서도 더 선명하거나 다양성을 갖춘 샘플을 생성하도록 돕는다.

보조 목적 함수의 도입은 모델의 학습 난이도를 증가시킬 수 있지만, 적절히 조화될 경우 생성 샘플의 사실성과 다양성 사이의 균형, 즉 모드 붕괴 문제를 완화하는 데 기여한다. 또한, 조건부 생성 과제에서는 원하는 속성(예: 텍스트의 감정, 이미지의 스타일)을 더 정확하게 반영하도록 조건 정보를 효과적으로 주입하는 데 보조 목적 함수가 활용되기도 한다.

퍼플렉서티는 언어 모델의 성능을 평가하는 데 널리 사용되는 내재적 평가 지표이다. 이는 모델이 테스트 데이터를 얼마나 잘 예측하는지를 측정하며, 수치가 낮을수록 모델의 예측 능력이 뛰어남을 의미한다. 기본적으로 주어진 단어 시퀀스에 대해 모델이 할당한 평균적인 브랜치 팩터를 의미하며, 정보 이론에서의 엔트로피 개념과 깊은 연관이 있다. 퍼플렉서티는 주로 자동회귀 모델이나 마르코프 체인과 같은 순차적 데이터 생성 모델의 평가에 활용된다.

퍼플렉서티는 수학적으로 테스트 데이터셋에 대한 교차 엔트로피의 지수 함수로 계산된다. 구체적으로, 모델이 테스트 문장에 할당한 확률의 기하평균의 역수로 정의된다. 이 계산 방식은 모델이 다음 단어를 예측할 때 평균적으로 고려해야 하는 동등하게 가능한 후보의 수를 직관적으로 해석할 수 있게 한다. 예를 들어, 퍼플렉서티가 10이라면 모델은 다음 단어를 예측할 때 매번 약 10개의 동등한 후보 단어 중에서 선택해야 하는 상황에 해당한다.

이 지표는 언어 모델의 품질을 빠르고 객관적으로 비교할 수 있어 모델 개발 과정에서 유용하다. 특히 훈련 데이터에 대한 퍼플렉서티와 검증 데이터에 대한 퍼플렉서티를 비교함으로써 모델의 과적합 여부를 판단하는 데도 도움을 준다. 그러나 퍼플렉서티는 모델의 출력물의 유창성이나 문법적 정확성을 직접 측정하지는 않으며, 생성된 텍스트의 의미적 일관성이나 실제 작업 성능을 완벽하게 반영하지는 못하는 한계가 있다.

따라서 퍼플렉서티는 BLEU나 ROUGE 같은 외부 평가 지표나 인간 평가와 함께 사용되어 언어 생성 모델의 성능을 종합적으로 판단하는 보조 지표로 자주 활용된다. 기계 번역, 문서 요약, 대화 시스템 등 다양한 자연어 처리 응용 분야에서 모델의 예측 불확실성을 정량화하는 기본 도구로 자리 잡고 있다.

BLEU는 기계 번역 분야에서 처음 제안된 평가 지표로, 생성된 텍스트와 하나 이상의 참조 텍스트 간의 n-gram 정밀도를 기반으로 점수를 계산한다. 주로 1-gram부터 4-gram까지의 정밀도를 결합하여 평가하며, 생성된 문장의 길이가 참조 문장보다 지나치게 짧을 경우에 패널티를 부여하는 특징이 있다. 이는 번역 품질 평가뿐만 아니라 요약이나 대화 시스템과 같은 다양한 자연어 처리 생성 과제에서도 널리 활용된다.

ROUGE는 주로 문서 요약 성능을 평가하기 위해 설계된 지표군이다. ROUGE-N은 BLEU와 유사하게 n-gram의 재현율을 측정하며, ROUGE-L은 가장 긴 공통 부분 시퀀스를 기반으로 한 평가를 제공한다. 특히 ROUGE는 생성된 요약문이 참조 요약문의 핵심 정보를 얼마나 포함하고 있는지에 중점을 두어, 정보의 누락을 민감하게 파악하는 데 강점을 보인다.

두 지표 모두 완벽한 인간 평가를 대체할 수는 없지만, 생성 모델의 성능을 빠르고 객관적으로 비교하는 데 필수적인 도구로 자리 잡았다. 그러나 이들은 주로 표면적인 어휘의 중복에 의존하기 때문에, 의미의 정확성이나 문맥 적합성, 문법적 정교함 등을 충분히 평가하지 못하는 한계를 지닌다.

선형 생성 모델의 성능을 정량적으로 측정하는 지표인 퍼플렉서티나 BLEU, ROUGE와 같은 자동 평가 방법은 계산이 빠르고 재현 가능하다는 장점이 있지만, 생성된 데이터의 실제 품질, 자연스러움, 창의성, 맥락 적절성 등을 완벽하게 포착하지 못하는 경우가 많다. 이러한 한계를 보완하기 위해 인간 평가는 선형 생성 모델의 출력을 평가하는 중요한 보완적 방법으로 활용된다.

인간 평가는 일반적으로 평가자들에게 생성된 샘플(예: 텍스트, 이미지)을 제시하고, 미리 정의된 기준에 따라 점수를 매기거나 순위를 매기도록 요청하는 방식으로 진행된다. 평가 기준은 생성 작업의 목적에 따라 달라지며, 텍스트 생성의 경우 문법적 정확성, 일관성, 유용성, 흥미로움 등을 포함할 수 있고, 이미지 생성의 경우 사실성, 미적 품질, 원본과의 유사도 등을 평가할 수 있다. 평가는 주로 크라우드소싱 플랫폼을 통해 다수의 평가자를 모집하여 진행되며, 평가자 간 일관성을 높이기 위해 명확한 평가 지침과 훈련이 제공된다.

인간 평가는 자동 평가 지표가 포착하지 못하는 미묘한 차이를 평가할 수 있다는 결정적 장점이 있지만, 비용과 시간이 많이 소요되며 평가자의 주관성과 피로도가 결과에 영향을 미칠 수 있다는 한계도 있다. 따라서 실제 연구나 응용에서는 자동 평가 지표와 인간 평가를 병행하여 모델의 성능을 종합적으로 판단하는 것이 일반적이다.

선형 생성 모델은 텍스트 생성 분야에서 초기적인 접근법으로 활용되었다. 이 모델들은 단어 시퀀스의 확률 분포를 모델링하기 위해 선형 변환과 같은 단순한 수학적 구조를 사용한다. 예를 들어, 은닉 마르코프 모델이나 n-gram 언어 모델은 이전 단어들의 선형 조합을 통해 다음 단어의 확률을 예측하는 방식으로 작동한다. 이러한 모델들은 자동 완성이나 기본적인 문장 생성과 같은 작업에 적용되었다.

그러나 선형 생성 모델은 텍스트의 장기 의존성과 복잡한 비선형 관계를 포착하는 데 근본적인 한계를 지닌다. 텍스트 데이터는 단어 간의 상호작용이 매우 복잡하고 문맥에 크게 의존하는 비선형 구조를 가지고 있다. 선형 모델의 단순한 가정은 이러한 복잡성을 충분히 표현하지 못하여, 생성된 텍스트의 일관성, 다양성, 유창성이 제한되는 결과를 초래한다.

이러한 한계로 인해, 현대의 고성능 텍스트 생성 시스템은 주로 변환기나 순환 신경망과 같은 비선형 심층 신경망 아키텍처를 기반으로 구축된다. GPT나 BERT와 같은 모델은 자기 주의 메커니즘을 통해 문맥을 이해하고, 훨씬 더 자연스럽고 창의적인 텍스트를 생성할 수 있다. 따라서 선형 생성은 텍스트 생성 기술 발전의 역사적 초기 단계를 설명하는 개념으로 이해되며, 현재의 주류 접근법은 아니다.

선형 생성 모델은 이미지 생성 분야에서도 활용된다. 특히 초기 단계의 생성 모델들은 데이터의 잠재 공간을 선형 변환을 통해 모델링하는 방식을 취했다. 대표적인 예로 확률적 주성분 분석(PPCA)은 고차원의 이미지 데이터를 저차원의 잠재 변수로 압축하고, 이 잠재 변수에서 다시 선형 변환을 통해 원본과 유사한 이미지를 재생성하는 데 사용될 수 있다. 이러한 방식은 복잡한 비선형 관계를 모델링하기에는 한계가 있지만, 데이터의 주요 특징을 추출하고 기본적인 생성 과정을 이해하는 데 기초를 제공한다.

보다 현대적인 딥러닝 기반 이미지 생성 모델들은 강력한 비선형 변환 능력을 갖추고 있지만, 그 내부 구조의 일부 계층에서는 여전히 선형 연산이 핵심 구성 요소로 사용된다. 예를 들어, 생성적 적대 신경망(GAN)이나 변분 오토인코더(VAE)의 생성자 네트워크에서도 완전 연결 계층이나 합성곱 계층의 선형 변환이 이미지 픽셀 값을 구성하는 데 기여한다. 즉, 선형 생성의 원리는 복잡한 신경망 아키텍처 속에 그 기본 아이디어로 녹아들어 있다고 볼 수 있다.

요약하면, 선형 생성은 단독으로 고품질의 사실적인 이미지를 생성하는 데는 제한적이지만, 차원 축소와 특징 추출을 통해 이미지 데이터의 본질을 파악하는 데 유용한 도구이며, 현대적인 비선형 생성 모델의 중요한 구성 요소로서 그 원리를 제공한다.

선형 생성 기법은 음성 합성과 음악 생성 분야에서 오랜 기간 활용되어 왔다. 특히 음성 신호나 음악 신호를 시계열 데이터로 모델링하고, 이를 생성하기 위해 선형 예측 코딩과 같은 고전적인 방법이 사용되었다. 이러한 방법들은 신호를 선형 필터를 통해 모델링하며, 필터의 계수를 추정하고 여기에 잔차 신호나 음성을 합성하는 방식으로 작동한다. 음악 정보 검색 분야에서는 주성분 분석과 같은 선형 생성 모델이 음악의 특징을 압축하거나 스타일을 변환하는 데 적용되기도 한다.

구체적인 응용 사례로는 텍스트 음성 변환 시스템에서 파라미터형 음성 합성기가 있다. 이는 음성의 스펙트럼과 기본 주파수 등을 선형 스펙트럼 쌍과 같은 파라미터로 추출한 후, 이를 다시 선형 필터에 통과시켜 음성을 재생성한다. 또한, 초기의 자동 작곡 시스템에서는 마르코프 체인과 같은 간단한 확률 모델을 사용하여 선형적인 음표 시퀀스를 생성하기도 했다.

그러나 딥러닝 기반의 비선형 생성 모델(예: WaveNet, Jukebox)이 등장하면서, 음성과 음악 생성의 정교함과 자연스러움 측면에서 선형 생성 모델의 역할은 상대적으로 축소되었다. 현대 기술은 고차원의 복잡한 분포를 모델링하여 더욱 사실적이고 표현력丰富的한 오디오를 생성할 수 있다. 그럼에도 불구하고, 선형 생성 모델은 그 개념적 명료함과 계산 효율성 덕분에 여전히 교육적 목적이나 특정 제약 조건 하의 기본 모델로서 의미를 지닌다.

선형 생성 모델의 주요 장점은 그 단순성과 해석 가능성에 있다. 모델 구조가 기본적인 선형 변환과 가우시안 노이즈 추가로 구성되어 있어, 복잡한 비선형 모델에 비해 계산 복잡도가 낮고 학습이 빠르다. 이는 상대적으로 적은 양의 데이터로도 안정적인 학습이 가능하게 하며, 과적합의 위험을 줄인다. 또한 모델 파라미터가 직접적으로 입력 특징과 출력 생성 간의 관계를 나타내므로, 생성 과정을 통계적으로 해석하고 이해하기가 용이하다.

이러한 해석 가능성은 특징 추출이나 차원 축소와 같은 작업에서 큰 강점으로 작용한다. 예를 들어, 확률적 주성분 분석은 데이터의 주요 변동 방향을 선형 하위 공간으로 모델링함으로써, 노이즈를 제거한 의미 있는 잠재 표현을 얻을 수 있다. 마찬가지로 선형 판별 분석은 클래스 간 분리를 최대화하는 선형 투영을 학습하여, 생성된 특징이 분류 작업에 효과적이도록 한다.

실제 응용 측면에서도 선형 생성은 실시간 처리가 요구되는 환경이나 제한된 계산 자원을 가진 임베디드 시스템에서 유용하게 활용된다. 모델의 간결함 덕분에 배포와 유지보수가 상대적으로 쉽고, 생성 과정의 확률론적 특성을 수학적으로 명확히 추적할 수 있어, 금융 모델링이나 과학적 시뮬레이션과 같이 결과의 신뢰성과 설명 책임이 중요한 분야에서도 적용 가치가 있다.

선형 생성 모델은 그 구조적 단순성과 계산 효율성에도 불구하고 몇 가지 근본적인 한계를 지닌다. 가장 큰 한계는 데이터의 복잡한 비선형 관계를 모델링하는 능력이 부족하다는 점이다. 현실 세계의 데이터, 예를 들어 자연 이미지나 인간 언어는 고차원 공간에서 매우 복잡한 매니폴드를 형성하는 경우가 많다. 선형 변환만으로는 이러한 복잡한 구조를 충분히 표현하기 어려워, 생성된 결과물이 단순하거나 사실성이 떨어질 수 있다. 이는 특히 이미지 생성이나 자연어 처리와 같은 정교한 생성 작업에서 두드러진다.

또 다른 주요 도전 과제는 모델의 표현력 부족으로 인한 과소적합 문제이다. 선형 생성 모델은 매개변수 수가 제한적이어서 대규모이고 다양성 있는 데이터셋의 풍부한 변화를 포착하지 못할 수 있다. 이는 생성의 다양성을 떨어뜨리고, 훈련 데이터에 없는 새로운 샘플을 생성하는 일반화 능력을 제한한다. 반면, 오토인코더나 생성적 적대 신경망(GAN)과 같은 비선형 심층 신경망 기반 모델은 훨씬 더 높은 표현력을 갖추고 있다.

마지막으로, 선형 생성의 확률적 프레임워크는 종종 데이터 분포에 대한 강한 가정을 전제로 한다. 예를 들어, 많은 선형 모델은 잠재 변수나 노이즈가 가우시안 분포(정규 분포)를 따른다고 가정한다. 그러나 실제 데이터의 분포는 이와 다를 수 있으며, 이러한 모델 가정과의 불일치는 생성 품질을 저하시킬 수 있다. 이러한 한계를 극복하기 위해 현대 생성 모델 연구는 변분 오토인코더(VAE), 확산 모델, 변환기 아키텍처와 같은 비선형적이고 더 표현력이 높은 접근법으로 집중되고 있다.